Lý Di sinh tại huyện Đằng Xung, tỉnh Vân Nam. Ông trải qua tuổi thơ khó khăn nhưng gia đình ông vẫn có điều kiện cho ông hưởng một nền giáo dục tiên tiến. Năm 1924, ông đến Quảng Đông, nhập học khóa 4 trường Võ bị Hoàng Phố. Ông tham gia Chiến tranh Bắc phạt cùng các bạn đồng khóa Hồ Liên, Trương Linh Phủ, Liu Yuzhang và Lâm Bưu. Trong các chiến dịch bao vây chống cộng, chỉ huy của ông là Trần Thành buộc tội ông bao che cộng sản và tìm cách tước binh quyền của ông. Nhưng Lý Di chứng tỏ được lòng trung thành với Tưởng Giới Thạch và được bổ nhiệm làm huyện trưởng một huyện trong "khu đỏ" mà quân Quốc dân vừa chiếm lại.

Đầu những năm 1930, Lý về dưới trướng Tiết Nhạc, chỉ huy một đơn vị Quốc dân đảng tinh nhuệ đánh đuổi quân Cộng sản khỏi Khu Xô viết Giang Tây. Sau đó Lý truy đuổi quân Cộng sản đang rút lui đến hơn 1,000 dặm đường đất trong Vạn lý Trường chinh. Sau khi quân Cộng sản lập căn cứ tại Hoa Bắc, Lý thay đổi kế hoạch tác chiến, giúp đánh bại các chỉ huy Hồng quân danh tiếng như Hạ Long và Diệp Đình, chiếm được lãnh thổ của họ. Trước khi Chiến tranh Trung-Nhật nổ ra, Lý đã lên đến hàm đại tá.